برچسب زنی اجزای گفتار

یکی از کارهای اساسی در پردازش زبان طبیعی، برچسب زنی اجزای گفتار می باشد. برچسب زنی، تعیین مقوله های دستوری برای هر نماد در متن می باشد. در برچسب زنی دو حوزه ساختواژه و نحو زبان برای تعیین مقوله های دستوری با یکدیگر تعامل دارند. تحلیل های ساختواژی، یکی از مسائل اصلی در تحلیل های رایانه ای متون فارسی است و پردازش متون رایانه ای فارسی را با مشکلاتی روبرو کرده است، از جمله این مشکلات، شناسایی واژه های ناشناخته در متن و مشکلات خط فارسی می باشد. برای برچسب زنی، سیستمهای متفاوتی با الگوریتمهای متفاوت وجود دارد، از جمله این سیستمها، سیستم برچسب زن گیت(gate) می باشد که در این پژوهش، به بررسی برچسب زنی و مشکلات مربوط به آن پرداخته می شود. الگوریتم بکاررفته در این سیستم، الگوریتم هپل((hepple می باشد که ترکیبی از دو رویکرد آماری و قاعده بنیاد است. در سیستمهای برچسب زنی از پیکره های برچسب گذاری شده استفاده می شود. در این سیستم، از پیکره برچسب گذاری شده بی جن خان که تقریبا شامل دومیلیون وپانصد هزار واژه و 550 برچسب می باشد، استفاده شده است. قابل ذکر می باشد که مجموعه برچسب زیاد، برچسب زنی را با مشکل مواجه می کند، به همین دلیل در این پژوهش از 40 مجموعه برچسب کاهش یافته از 550 برچسب بی جن خان استفاده شده است. در این سیستم، برچسب زنی روی متون استاندارد از روزنامه همشهری صورت گرفته است و سعی بر این است که در این متون، مشکلات مربوط به تحلیل رایانه ای متون فارسی حل بشود. نتیجه ارزیابی و دقت سیستم در این متون 97درصد می باشد. هدف بعدی این است که سیستم در مورد متون غیراستاندارد نیز به نتیجه مطلوبی برسد. دقت سیستم برای این متون 92درصد می باشد که در مقایسه با متون استاندارد، دقت مطلوبی است.